Beyond Parallel Blindness: Information Floors and Model Gaps in Block Drafting
超越并行盲区：块草稿中的信息地板与模型差距
🧭 LLM 推理加速 · 块草稿信息瓶颈
University of California San Diego
区分块草稿的固有信息损失与草稿器模型差距，量化短程条件可消除的上限损失
📌 工作参考价值（4 点）
- 在电商/Agent 的 LLM 推理服务中上 speculative decoding 时，先估计目标模型在目标块大小下的信息地板，判断草稿器是受信息约束还是模型能力限制；不要只凭 accepted length 做调优决策。
- 全并行块草稿的最后槽位信息损失上限约 0.286，考虑对块内前几个 token 采用串行或半串行生成（哪怕多一次前向），可移除 86–100% 的地板，对延迟敏感的对话式推荐/Agent 响应可能收益明显。
- DFlash/DSpark 的拒绝主要来自模型差距而非信息缺失，说明提升草稿器对前序已实现 token 的条件建模（如增量更新隐藏状态）比盲目加大块大小更有效。
- 该方法可迁移到 Agent 多步 LLM 调用链中，用信息地板分析并行化提案的固有损失，优化工具参数生成、多候选推理的延迟与质量权衡。